Au début du XXe siècle, à Shanghaï, Violet Minturn grandit dans la maison de courtisanes que tient sa mère, Lulu, une Américaine. Lorsqu'elle apprend que son père n'est pas mort et qu'il est d'origine chinoise, c'est un choc. La situation politique devenant instable, Lulu tente de partir pour San Francisco avec Violet, alors âgée de 14 ans. Mais Violet est piégée et vendue à une maison close.
L'histoire tumultueuse de trois générations de femmes, depuis la Chine des années 20 jusqu'au San Francisco d'aujourd'hui : la nourrice de LuLing, femme d'une grande beauté, défigurée et muette suite à une trahison ; LuLing qui a fui à Hong Kong puis aux Etats-Unis avec la montée du communisme ; Ruth, la fille de LuLing, née aux Etats-Unis, qui ne parvient plus à affronter le présent.